Op dit historische domein, aan een arm van de Schelde, bevind zich de burchtruïne van een van de oudste kastelen van Vlaanderen. Een oorkonde van Karel de Kale, die het in 864 bezocht, wijst er op dat deze burcht door de Frankische koningen van het tweede vorstenhuis werd bewoond. In 1286 werd de heerlijkheid Petegem verkocht aan de Graaf van Vlaanderen, Gwijde van Dampierre. Hij verbouwde er de aloude burcht tot een kasteel, zijn vrouw stichtte er op 1 km stroom afwaarts de abdij van Sint Klara, ook wel Beaulieu genoemd die tot het einde van de 18de eeuw bleef bestaan.
In 1847 werd in de nabijheid van "t Oud Kasteel" het huidige "nieuw" kasteel opgetrokken in neo-renaissancestijl door architect François Coppens in opdracht van baron August Pycke de Peteghem.
Het historische domein is thans de thuishavenvan de Golf- & Countryclub Oudenaarde, die kan bogen op twee prachtige 18 holesbanen te midden van de eeuwenoude bomen in het kasteelpark doorkronkelt door de Schelde. Twee golfterreinen van een uitstekende kwaliteit, die elke speler zeker zal bekoren.